미션 완료! 인공지능 언어의 기본 요소를 모두 마스터하셨습니다!정확하지 않아요! 다시 그 시퀀스를 구성해 보세요!지식 업로드됨: 토큰과 시퀀스 ... 이게 맞을까 ... ? ... 아니면 ...
AI가 읽기 위해 사용하는 작은 빌딩 블록을 우리는 무엇이라고 부르나요?
맞아요! 토큰은 "사과", "인", 또는 "?"처럼, 인공지능이 언어를 구성하는 작은 단위입니다.
컴퓨터는 토큰을 어떻게 표현해서 이해할 수 있게 하나요?
정답입니다! 컴퓨터는 숫자만 이해하기 때문에, 각 토큰은 고유한 식별 번호를 갖게 됩니다.
"친구"와 "선박"의 토큰이 있다면, 숫자 목록으로 표현될 때 "친구십"이라는 단어는 무엇이라고 불리나요?
정확합니다! 토큰 번호의 순서가 있는 리스트를 시퀀스라고 합니다.
왜 시퀀스 안의 토큰 순서가 이렇게 중요한가요?
정확합니다! 같은 토큰이 다른 순서로 배열되면 문장 전체의 의미가 바뀔 수 있습니다.
AI가 한 번에 처리할 수 있는 토큰의 최대 수는 얼마인가요?
정답입니다! 컨텍스트 윈도우는 대화 중에 인공지능이 "기억해둘" 수 있는 정보의 양에 대한 경계입니다.
마침표(.) 같은 단일 구두점도 토큰이 될 수 있나요?
정답입니다! 토큰은 전체 단어, 단어의 일부, 또는 구두점마저 포함할 수 있습니다. 모든 것이 빌딩 블록이죠!
1
토큰화와 시퀀스
EvoClass-AI004Lecture 4
0
🤖 삐빅! 반갑습니다, 부대원! 아래 하위 주제를 선택하여 인공지능이 토큰화를 통해 어떻게 "읽는지" 살펴보세요.
파이봇 명령실시간
삐빅!안녕하세요, 부대원! 인공지능이 읽을 수 있도록 가르치기 위해, 먼저 단어를 작은 "레고" 조각처럼 자르는 과정이 필요합니다. 컴퓨터가 단어를 숫자로 바꾸는 방식을 배우고 싶으신가요?
주제 진행 상황0%
좋은 선택입니다! 토큰은 레고 블록과 같습니다. "친구십"과 같은 단어는 "친구"와 "선박"처럼 더 작은 부분으로 나뉩니다. 단순한 "."도 토큰이 될 수 있습니다! 인공지능에게는 이런 조각들이 전체 긴 문장보다 다루기 쉽습니다.
1
하위 주제 1
무엇이 토큰인가요?
"친구"와 "선박" 같은 작은 빌딩 블록으로 텍스트를 자르는 것
이것을 보세요! 토큰을 확보하면, 인공지능은 각각에 비밀번호 같은 고유 식별 번호를 부여합니다. 이 숫자들은 "시퀀스"를 형성합니다. 기억하세요: 순서가 중요합니다! "개가 사람을 물었다"와 "사람이 개를 물었다"는 동일한 블록을 사용하지만, 시퀀스는 완전히 다른 이야기를 전달합니다!
2
하위 주제 2
시퀀스의 힘
순서가 전부인 수학적 목록으로 블록을 변환하는 것
알고 계셨나요? 인공지능에는 "컨텍스트 윈도우"라는 것이 있는데, 마치 손 크기와 같습니다. 처음 부분을 잊기 시작하기 전까지 한 번에 특정 수의 토큰만 "기억"할 수 있습니다!
알고 계셨나요?
인공지능에는 "컨텍스트 윈도우"라는 것이 있는데, 마치 손 크기와 같습니다. 처음 부분을 잊기 시작하기 전까지 한 번에 특정 수의 토큰만 "기억"할 수 있습니다!
로딩 중...
⭐⭐⭐

미션 완료!

당신은 토큰 마스터입니다!